Ông sinh ngày 13 tháng 8 năm 1947, quê tại xã Quỳnh Đôi, huyện Quỳnh Lưu, tỉnh Nghệ An. Ông là con trai út của nhà cách mạng, liệt sĩ Hồ Mỹ Xuyên (nguyên Phó bí thư tỉnh ủy Nghệ An), cháu nội của nhà cách mạng Hồ Tùng Mậu.[2]

Suốt thời phổ thông, học tại trường huyện, ông thường giữ vị trí số một trong cả hai môn Văn và Toán của lớp, của trường. Thành tích học tập nổi trội so với các bạn cùng trang lứa của ông đã được Sở Giáo dục và Đào tạo tỉnh Nghệ An bấy giờ phát động phong trào "Học tập, đuổi kịp và vượt Hồ Đức Việt".[cần dẫn nguồn]

Năm 1965, ông được cử đi du học đại học chuyên ngành Toán - Lý tại Trường Đại học Tổng hợp Karlova ở Praha (Univerzita Karlova v Praze), Tiệp Khắc. Ông được kết nạp Đảng Cộng sản Việt Nam ngày 19 tháng 10 năm 1967, và trở thành đảng viên chính thức từ ngày 19 tháng 10 năm 1968 tại Tiệp Khắc. Năm 1974, ông bảo vệ thành công xuất sắc luận án Phó Tiến sĩ chuyên ngành Toán - Lý.

Năm 1975, ông về nước và trở thành giảng viên Khoa Toán - Cơ, Trường Đại học Tổng hợp Hà Nội. Năm 1976, ông được cử làm Phó Bí thư Đoàn TNCS Hồ Chí Minh Trường Đại học Tổng hợp Hà Nội. Năm 1979, ông được bổ nhiệm làm Phó Trưởng khoa Toán - Cơ.